Сегодня мы поговорим о Project Narrows - новом решении, предназначенном для динамического сканирования безопасности контейнеров.
Сейчас многие пользователи Kubernetes применяют решение Harbor для хранения, сканирования и подписания контента для распространения Cloud Native приложений в рамках полной цепочки развертывания. Project Narrows представляет собой дополнение к Harbor, которое позволяет получить доступ к состоянию безопасности кластеров Kubernetes в реальном времени.
Образы, которые ранее не проверялись, теперь будут сканироваться на уязвимости не только в процессе добавления в кластер, то есть теперь можно будет своевременно обнаружить бреши в безопасности, пометить их и поместить рабочие нагрузки на карантин.
Администраторы кластеров сейчас используют Harbor для статического анализа уязвимости в образах, используя различные утилиты, такие как Trivy, Claiк и ArkSec. Эти утилиты позволяют сканировать образы только после выполненного действия, такого как обновление образа или добавление рабочей нагрузки в кластер. Однако угрозы безопасности могут возникнуть и во время исполнения рабочих нагрузок.
Project Narrows добавляет динамическое сканирование образов, что позволяет получить большую защищенность и контроль над исполнением рабочих нагрузок, чем при использовании традиционных средств.
Это даст следующие преимущества:
Немедленное оповещение об уязвимости во время исполнения рабочей нагрузки
Предотвращение атаки в процессе работы приложений
Ограничение эксплоитов в работающем приложении без необходимости уничтожать контейнер
Находить эксплоиты в более сложных приложениях и сервисах
Идентифицировать сложные, состоящие из нескольких шагов атаки
Суть сложных атак заключается в том, что они используют уязвимости в ПО различных вендоров, которые не обнаруживаются на уровне хранения образов, но во время работы приложений они активируются и могут быть использованы злоумышленниками.
Архитектура Project Narrows позволяет интегрироваться с Harbor как плагин (выделенный квадрат на рисунке) для кластеров Kubernetes, которым необходимо динамическое сканирование. Используя простой UI и интерфейс CLI, администратор может выполнять следующие действия:
Просматривать в реальном времени статус защищенности рабочих нагрузок
Создавать политики для сканирования, включая найденные ошибки в приложениях
Делать ревью базовых уровней политик и, при необходимости, предотвращать развертывание рабочих нагрузок из уязвимых образов
Настраивать политику карантина для незащищенных рабочих нагрузок
Просматривать, фильтровать и удалять отчеты о политиках
Генерировать отчеты о состоянии систем при каждом сканировании
Просматривать информацию о помеченных узлах с потенциальными рисками
Компания NAKIVO выпустила обновление решения Backup & Replication v10.7, предназначенного для резервного копирования и репликации виртуальных машин в инфраструктуре VMware vSphere и Microsoft Hyper-V.
Давайте посмотрим, что нового в NAKIVO Backup & Replication v10.7:
Backup to Azure Blob - теперь сами резервные копии и копии этих копий могут храниться в облачном блочном хранилище Azure Blob. Также для этого способа бэкапа поддерживаются функции immutability, то есть неизменяемость созданных копий.
Backup to Backblaze B2 - теперь возможно резервное копирование в это облачное хранилище с обеспечением всех Enterprise-возможностей и функций immutability для защиты от ransomware.
Microsoft Teams Backup - пользователям стала доступна защита данных инфраструктуры контента Microsoft Teams. Теперь можно сохранять и восстанавливать различные типы объектов, такие как каналы, посты и файлы для обеспечения непрерывности бизнеса.
Wasabi Immutability - для этого типа хранилищ стали доступны функции immutability для защиты от ransomware на период, который определяется пользователем.
Native Microsoft 365 Change Tracking - теперь для инфраструктуры Microsoft 365 работает технология быстрого создания инкрементальных бэкапов за счет интеграции с нативной технологией Microsoft для отслеживания изменяющихся блоков.
Overview Dashboard - был добавлен дэшборд, на котором в реальном времени показываются основные параметры вашей бэкап-инфраструктуры, а также доступны функции для быстрого доступа к функциональности для защиты данных корпоративного датацентра.
Загрузить бесплатную пробную версию NAKIVO Backup & Replication v10.7 можно по этой ссылке.
На конференции Explore 2022 компания VMware анонсировала множество новых проектов, обновлений и технологий, которые мы увидим в ближайшем будущем. Недавно мы писали о новых версиях платформ VMware vSphere 8 и VMware vSAN 8, а сегодня расскажем о Project Northstar, в рамках которого пользователям будут доступны доставляемые как SaaS облачные сетевые сервисы.
Сейчас в больших компаниях, использующих гибридную облачную среду, существует большая проблема по управлению сетевым взаимодействием сервисов, многие из которых находятся в различных публичных облаках. Это ведет к проблемам с унификацией, управляемостью и безопасностью, что влияет на стабильность и надежность сетевой коммуникации облачных приложений между собой.
Решая эту проблему, компания VMware представила Project Northstar - новое превью технологии, построенной на базе SaaS-сервисов, которые будут доступны пользователям решения NSX. Она позволит получить набор мультиоблачных инструментов, получаемых по запросу и реализующих службы кроссоблачной безопасности, end-to-end видимости сетевых потоков и контроля над сетевым взаимодействием.
Эта архитектура строится на стеке технологий и продуктов Network Detection and Response (NDR), NSX Intelligence, Advanced Load Balancing (ALB), Web Application Firewall (WAF) и HCX. Она поддерживает как частные, так и публичные облака, в том числе на базе инфраструктуры VMware Cloud.
Project Northstar будет давать следующие преимущества:
Faster time to value - сервисы, мгновенно доступные по запросу в любом из публичных облаков, поддерживающих технологии VMware, на базе служб федерации. Они будут обеспечивать совместимость и консистентность сетевого взаимодействия приложений, соблюдение единых корпоративных политик, платформу для быстрого масштабирования облака (cloud bursting) и эластичное взаимодействие cloud-to-cloud.
Flexible service consumption - теперь сетевые службы будут доставляться как SaaS-сервис, что позволит оптимизировать затраты и контролировать все аспекты сетевой коммуникации в централизованной панели управления. Также саму платформу можно будет обслуживать без остановки сетевых служб и в большой степени в автоматическом режиме.
Scalable lateral security - мультиоблачные окружения Northstar можно будет защищать с помощью таких технологий, как распределенный сетевой экран и NDR (Network Detection and Response), а надзор за этим будет осуществляться со стороны VMware. Технология NDRaaS будет давать пользователям инструменты для обнаружения сетевых вторжений и реакции на эти атаки по запросу. В дополнение к NSX Intelligence as a Service этот комплекс решений будет давать полную защиту рабочих нагрузок в мультиоблачных средах.
Project Northstar избавит крупные компании от необходимости использования разного набора сетевых инструментов (управление, безопасность, автоматизация операций), которые сейчас доступны в каждом из частных или публичных облаков. На данный момент администраторы используют разные консоли этих облачных провайдеров, что на большом масштабе неизбежно приводит к ошибкам из-за человеческого фактора.
Теперь же для мультиоблачного сетевого взаимодействия будет нужна только одна консоль, управляющая всеми сетевыми службами:
По-сути, Project Northstar - это эволюция платформы NSX, которая будет реализовывать 5 различных сервисов:
Policy-aaS - централизованное управление сетевыми политиками для разных облаков в одной консоли. Там же доступны политики безопасности и средства решения проблем.
NSX Intelligence-aaS - это инструменты для просмотра сетевой активности между облаками в реальном времени. Также тут будет использоваться VMware Data Lake, управляемое со стороны VMware, которое будет использоваться для предоставления рекомендаций для политик и безопасности в мультиоблачных окружениях. Ну и тут будут доступны средства визуализации Network Traffic Analysis (NTA), в которых будут доступны инсайты по обработке потенциальных точек вторжения, а также средства обнаружения сетевых аномалий.
NDR-aaS - сервис Network Detection and Response (NDR) дает средства обнаружения и пресечения вторжений. Он анализирует события IDPS, вредоносного ПО (malware) и сетевые аномалии, чтобы дать администратору полную картину с точки зрения безопасности. Далее можно организовать threat hunting на базе фреймворка MITRE ATT&CK.
NSX ALB-aaS - это расширенные средства балансировки нагрузки (Advanced Load Balancing), которые будут поддерживать онпремизные и облачные окружения. Они будут работать как standalone-система, так и как SaaS-службы, управляемые со стороны VMware. То есть пользователи будут подключаться к соответствующему Advanced Load Balancer provider, которые будет из коробки давать все необходимые службы балансировки без необходимости их развертывания.
HCX-aaS - это набор служб для миграции рабочих нагрузок как услуга, которая управляется на стороне VMware. Для них можно использовать централизованный дэшборд, где доступна оркестрация подключений, перебалансировки и миграций сервисов между облаками. Также тут доступны и функции централизованной отчетности о мобильности сервисов.
Если раньше все эти службы были доступны только пользователям решения NSX и облачного решения VMware Cloud on AWS, то теперь в Project Northstar они будут работать для разных облаков и гибридных сред по модели доставки SaaS.
Ну и в заключение пара полезных статей на тему Project Northstar с конференции Explore 2022:
На конференции VMware Explore 2022 компания VMware объявила о выпуске решения для организации отказоустойчивых кластеров виртуальных хранилищ VMware vSAN 8. Напомним, что прошлая мажорная версия VMware vSAN 7 была выпущена в марте 2020 года. Вчера мы писали о новых возможностях VMware vSphere 8, а сегодня поговорим о решении vSAN 8, которое очень тесно интегрировано с vSphere.
Итак, что нового появилось в VMware vSAN 8.0:
Новая архитектура vSAN Express Storage Architecture
В vSAN 8 появилась новая архитектура гиперконвергентной инфраструктуры vSAN Express Storage Architecture (ESA). Она позволяет достичь максимальных показателей производительности и эффективности на базе высокопроизводительных систем хранения.
С помощью флэш-памяти TLC на основе технологии NVMe, архитектура ESA имеет множество преимуществ со стандартной vSAN Original Storage Architecture (OSA), которая также продолжит поддерживаться для стандартного на текущий момент оборудования (устройства SATA/SAS).
Ключевыми структурными особенностями vSAN 8 ESA является переработанная и запатенованная файловая система (log-structured file system, LFS), новый оптимизированный для записи менеджер объектов (log-structured object manager), а также новый формат дисковых объектов.
Эти технологии позволяют добиться такого уровня производительности, где практически не происходит потерь на поддержание слоя виртуализации.
Новые возможности ESA дают преимущества в следующих аспектах:
1. Performance without tradeoff
Здесь есть два основных момента, существенно увеличивающих производительность:
Изменение структуры хранения и обработки данных для алгоритмов RAID 5/6 erasure coding. Теперь производительность RAID 5/6 близка к таковой на базе RAID-1. За счет LFS и нового формата дисковых объектов обеспечивается высокая интеграция данных и устойчивость к отказам при сохранении высокой скорости канала чтения-записи.
Intelligent I/O traffic management для сетевого трафика vSAN - теперь скорость процессинга трафика ввода-вывода близка к нативной для используемых устройств. Это достигается, в том числе, за счет адаптивной приоритизации трафика и его отсылки в моменты наименьшей загрузки канала.
2. Supreme resource and space efficiency
Адаптивный алгоритм обработки данных на RAID-5, который проверяет количество хостов в кластере и выбирает оптимальный способ размещения данных (работает, начиная с трех хостов). vSAN ESA также имеет возможности обнаружения изменений хостов, что влечет за собой ревизию структур данных RAID-5 и изменения политик размещения данных. В этом случае RAID-5 использует меньше сырой емкости хранилищ при сохранении надежности и управляемости.
Кликните на картинку, чтобы открыть анимацию:
Также были полностью переработаны механизмы сжатия данных, чтобы оптимизировать загрузку сети и нагрузку на CPU. Компрессия включена по умолчанию, и ее настройки можно изменять на уровне отдельных виртуальных машин с помощью политик хранилищ, вместо изменения конфигурации на уровне кластера.
Нажмите на картинку для открытия анимации:
Новый метод сжатия дает до 4x улучшение для каждого блока размером 4KB, если сравнивать с Original Storage Architecture. Также нагрузка на CPU существенно меньше у ESA, чем у OSA.
Шифрование данных также происходит теперь на верхних слоях ядра vSAN. Поскольку шифрование проводится для уже сжатых данных, то процесс шифрования происходит только однажды, что означает, что потоки данных между хостами также зашифрованы. Это позволяет избавиться от лишних шагов decrypt/encrypt и дает меньше нагрузки на CPU и сеть, освобождая ресурсы на поддержание работы виртуальных машин.
3. Intuitive, agile operations
Здесь два основных момента:
Storage pool construct - vSAN 8 ESA, помимо концепции дисковых групп, дискретного кэширования и ярусов емкостей (capacity tiers), дает пользователям возможность объединить устройства в пул (storage pool), в котором все устройства пула хоста могут давать емкость в общую емкость инфраструктуры vSAN. Это упрощает операции по обслуживанию дисков и управлению доступностью данных (а также снижает затраты).
Упрощенное развертывание и оперирование ресурсами хранилищ - теперь появились автоматические проверки, которые позволяют понять, что архитектура ESA запущена на поддерживаемом оборудовании. Это уменьшит количество проблемных инсталляций.
4. Ready-for-anything resilience
Этот пункт включает в себя масштабируемые и высокопроизводительные снапшоты, которые теперь делаются быстро и эффективно. Теперь снапшоты не так драматически влияют на производительность виртуальных машин, а время консолидации снапшотов уменьшилось очень значительно. Возможность native snapshot будет доступна не только в vSphere, но и для сторонних решений, использующий фреймворк VADP для резервного копирования ВМ.
Стандартная архитектура vSAN Original Storage Architecture
Классический vSAN 8 увеличил логический лимит емкости буффера почти в три раза - с 600 ГБ до 1.6 ТБ. Это позволит получит преимущества более плотного размещения виртуальных машин при сохранении требуемого уровня производительности. Рабочие нагрузки теперь могут поддерживать режим максимальной производительности в течение больших периодов времени.
Обе архитектуры vSAN - ESA и OSA
vSAN Proactive insights capability - пользователи vSAN 8 теперь получили более высокий уровень совместимости за счет функционала proactive insights, который оповещает обо всех потенциальных проблемах совместимости программного обеспечения и оборудования, даже если оно не участвует в программе Customer Experience Improvement Program. Эти улучшения доступны для обеих архитектур.
Итого прогресс технологии VMware vSAN за 10 лет можно представить вот так:
Доступность для скачивания продуктов VMware Cloud Foundation+, VMware vSphere 8, VMware vSAN 8 и VMware Edge Compute Stack 2 ожидается до 28 октября 2022 года.
Также рекомендуем посмотреть техническое видео о нововведениях vSAN:
В рамках событий первого дня проходящей сейчас конференции VMware Explore 2022 была анонсировала платформа виртуализации VMware vSphere 8. Это событие очень ждали многие администраторы и менеджеры датацентров, так как с момента релиза прошлой мажорной версии платформы VMware vSphere 7 прошло уже два с половиной года. Давайте посмотрим, что нового в VMware vSphere 8...
В своем финансовом отчете за второй квартал этого года компания Intel неожиданно объявила о том, что сворачивает (winding down) разработку технологии оперативной памяти Intel Optane. В свете падения квартальной выручки аж на 22% год к году, Intel просто не может поддерживать все перспективные технологии, требующие больших инвестиций в R&D.
Кстати, AMD во втором квартале этого года почти удвоила выручку (сказался еще эффект включения выручки приобретенной компании Xilinx):
Это оказалось, довольно-таки, неожиданной новостью для компании VMware, которая ориентировалась на поддержку этого типа памяти в своих продуктах, например, планируемом к выпуску решении Project Capitola. В данном продукте будет использоваться так называемая Software-Defined Memory, определяемая в облаке (неважно - публичном или онпремизном) на уровне кластеров VMware vSphere под управлением vCenter.
В Project Capitola вся доступная память серверов виртуализации в кластере агрегируется в единый пул памяти архитектуры non-uniform memory architecture (NUMA) и разбивается на ярусы (tiers), в зависимости от характеристик производительности, которые определяются категорией железа (price /performance points), предоставляющей ресурсы RAM. Все это позволяет динамически выделять память виртуальным машинам в рамках политик, созданных для соответствующих ярусов.
На рынке серверной виртуализации уже довольно давно развивается экосистема оперативной памяти различных уровней - стандартная DRAM, технология SCM (Optane и Z-SSD), модули памяти CXL, память PMEM, а также NVMe. Однако в разработке технологий по виртуализации оперативной памяти компания VMware ориентировалась, в первую очередь, именно на Intel Optane.
Память Intel Optane DC persistent memory (DCPMM она же PMEM) не такая быстрая как DRAM и имеет бОльшие задержки, но они все равно измеряются наносекундами. При этом данная память позволяет иметь ее большой объем на сервере, что существенно повышает плотность ВМ на одном хосте. В конце прошлого года мы писали о производительности этого типа памяти.
Теперь пользователи аппаратных устройств на базе Intel Optane продолжат получать стандартную поддержку Intel до окончания периода End-of-life, а также гарантию, действительную в течение 5 лет. Это касается следующих продуктовых линеек:
PMem 100 series ("Apache Pass")
PMem 200 series ("Barlow Pass")
DC P4800X SSD ("Cold Stream")
DC P5800X ("Alder Stream")
Также сообщается, что Intel продолжит развивать технологию PMem 300 series ("Crow Pass") для четвертого поколения процессоров Intel Xeon Scalable ("Sapphire Rapids").
VMware планирует продолжать поддержку памяти Intel Optane PMem в платформах vSphere 7.x и vSAN, а также будущих релизах этих продуктов. На данный момент память Optane поддерживается в трех режимах:
Обычная оперативная память (Memory mode)
App-Direct mode через механизм vPMem
Как персистентное хранилище через объекты vPMemDisk
VMware также добавила расширенные механизмы по поддержке vMMR в vSphere 7 Update 3 и добавила различные интеграции с механизмом DRS в следующей версии платформы. О технологии vMMR можно прочитать подробнее тут.
Также VMware поддерживает все предыдущие поколения технологии Intel Optane PMem, о чем можно почитать в KB 67645. Ну и VMware будет поддерживать будущее поколение Optane PMem 300, которое Intel, вроде как, не планирует сворачивать.
Ну а что касается Project Capitola, то VMware не будет поддерживать Intel Optane в этом решении, а переключится на технологии памяти стандарта CXL, который, как ожидается, получит большое распространение в отрасли. Посмотрим еще, что на эту тему еще расскажут на предстоящей конференции VMware Explore 2022.
В августе этого года компания VMware обновила свои решения для проактивного получения рекомендаций по технической поддержке продуктов линейки VMware vSphere - Skyline Advisor Pro
и Skyline Collector 3.2. Напомним, что с помощью этих продуктов пользователи и инженеры технической поддержки VMware (Technical Support Engineers, TSEs) могут просматривать информацию об инфраструктуре клиента и предоставлять информацию о текущем состоянии инфраструктуры, а также выдавать полезные рекомендации по ее улучшению.
Если у вы применяете автоматический апгрейд со Skyline версии 3.1, то имейте в виду, что есть некоторые проблемы с таким типом обновления, описанные в KB 89230. В ручном режиме апгрейд проходит нормально.
В Skyline Collector версии 3.2 исправлена проблема с решением NSX-T. При обновлении NSX-T с версии 3.x на 4.0.x компонент Collector версии 3.1 падал. Подробнее вы можете почитать об этом в KB89303. В версии Collector 3.2 эта проблема решена.
Итак, что нового появилось в Skyline Advisor Pro
и Skyline Collector 3.2:
1. Улучшения дэшбордов
Теперь можно кликнуть на один из элементов Active Findings, Findings Type, Findings Category, Support Requests и Active Log Assists для перехода в детальное представление каждой из этих секций прямо из главного дэшборда.
Также фильтры теперь интегрированы напрямую в дэшборд (gif-картинка откроется в новом окне по клику):
2. Самостоятельные отчеты для пользователей VMware Success 360 и Premier Services
Если вы пользователь VMware Success 360 или Premier Services, то у вас теперь есть доступ к разделу самообслуживания Proactive Insights Reports. Эти отчеты заменят Operational Summary Reports (OSR), которые есть у клиентов Premier Services (новые OSR больше не будут создаваться и придут в статус End of Life 17 октября этого года).
Gif-картинка откроется в новом окне по клику:
3. Ускоренная доставка email-нотификаций
Если пользователь подписался на email-оповещения для критических объектов Findings, то теперь они будут получены в течение 24 часов вместо 48 в прошлых версиях.
Gif-картинка откроется в новом окне по клику:
4. Новые объекты Proactive Findings
В новой версии Skyline было добавлено несколько объектов Findings, включая новые уязвимости и наиболее часто возникающие и просматриваемые пользователями проблемы. Подробнее о добавленных Findings можно почитать вот тут.
Gif-картинка откроется в новом окне по клику:
Более подробно о нововведениях Skyline Advisor Pro
и Skyline Collector 3.2 можно почитать в материалах сообщества по продукту Skyline.
На сайте проекта VMware Labs вышло очередное обновление полезной многим адимнистраторам VMware vSphere утилиты - Control My Update
2.1. Напомним, что это средство позволяет контролировать и управлять всеми обновлениями, предоставляемыми через Windows Update. В прошлый раз мы писали об этой утилите вот тут.
С помощью Control My Update можно создавать полностью поддерживаемые со стороны Windows Update конфигурации и использовать саму утилиту для их установки и мониторинга. CMU состоит из двух отдельных компонентов:
Custom Profile Generator - это графическая PowerShell-утилита, которая дает GUI для конфигурации профилей Windows Update с наиболее актуальными поддерживаемыми настройками (20H2 и более поздние). Также можно создавать Delivery Optimization Profiles и конфигурации самой утилиты Control My Update.
Control My Update - это надстройка над Windows Update для накатывания патчей и формирования отчетов. Вы можете выбрать источник обновлений - WSUS или Microsoft Update, определить окна обслуживания для установок обновлений и загрузить все необходимые апдейты перед установкой (что уменьшает время для нескольких систем). После этого можно накатить обновления и emergency-патчи, создавать кастомные нотификации и исключать отдельные KB из потока установки обновлений.
Давайте посмотрим, что нового появилось в Control My Update
2.1:
Новый интерфейс Profile Generator в части настроек компонента CMU.
Параметр Retry count для обработки возникающих ошибок (полезно при скачивании и установки апдейтов).
Пофикшена ошибка с ситуацией, когда перезагрузка не происходила, если нет ожидающих обновлений.
Новый механизм нотификаций в пассивных pop-up сообщениях.
Улучшенный механизм обнаружения обновлений и отчетности.
Добавлен тест службы Windows Update and Delivery Optimization.
Добавлена возможность функции принудительной перезагрузки для не-Windows систем.
Появилась опция автоматической перезагрузки для Windows-систем.
Добавлена возможность поддержки старых механизмов configuration service provider (обнаружение 32/64-битных систем).
Исправлена ошибка функции логирования (в логах не было даты и времени после определенного момента).
Загрузить Control My Update
2.1 можно по этой ссылке (там же в комбобоксе загрузки можно скачать и документацию).
Многие крупные компании используют решение VMware vRealize Operations для управления и мониторинга виртуальной инфраструктуры на платформе VMware vSphere. Иногда виртуальных машин становится так много (учитывая, что их бесконтрольно создают разработчики и тестировщики), что лицензии на vROPs, которые учитываются по виртуальным машинам, быстро заканчиваются.
Кроме того, с введением функций vSphere Cluster Services и Workload Management, а также vSAN File Share появились системные виртуальные машины, которые по умолчанию не исключаются из мониторинга в vRealize Operations Manager.
Чтобы исключить ненужные машины из мониторинга и потребления лицензий, можно использовать группы лицензий (License Groups). Итак, вам нужно создать группу виртуальных машин, члены которой будут исключены из мониторинга и не будут потреблять лицензии.
Логинимся в интерфейс vRealize Operations Manager как администратор.
Идем в Home > Administration > Licensing > License Groups.
Нажимаем на виртикальное многоточие опций на нужной группе лицензий и выбираем пункт Edit (если у вас уже есть группа), либо можно создать новую группу в пункте ADD.
Выбираем license key и нажимаем Next.
В нижней части экрана в разделе Object to always exclude добавляем виртуальные машины, которые мы не хотим, чтобы потребляли лицензии в этой группе.
Нажимаем Next и Finish.
Возвращаемся на вкладку License Keys, нажимаем на многоточие и выбираем пункт Refresh License Usage.
Информацию о создании и редактировании групп лицензий вы можете найти тут. Помните, что хосты, на которых нет ВМ, потребляющих лицензии, но добавленные в vROPs - все равно будут потреблять лицензии.
Больше подробностей о работе с группами лицензий в vRealize Operations вы можете узнать из этой статьи.
Недавно компания VMware объявила о выпуске обновленных версий решений vRealize Automation 8.9 и vRealize Automation Cloud Julу 2022, предназначенных для автоматизации рутинных операций в виртуальных датацентрах и облаках на базе VMware vSphere. Напомним, что о прошлом большом релизе vRealize Automation 8.6 мы писали в осенью прошлого года вот тут.
Давайте теперь посмотрим, что нового появилось в vRA версии 8.9 и его облачном издании:
1. Автоматизации кластеров Kubernetes
Теперь в продукте появилась интеграция с Tanzu Mission Control, что позволяет поддерживать рабочие процессы автоматизаций для инфраструктуры Kubernetes. Из решения vRealize Automation / Cloud можно проектировать и развертывать кластеры Kubernetes, которые находятся под управлением и политиками Tanzu Mission Control. При этом инфраструктурные правила и ограничения будут задаваться на уровне vRA.
Облачные администраторы могут применять правила, созданные в Tanzu Mission Control, и управлять жизненным циклом нагрузок через каталог vRealize Automation Cloud. Кроме того, можно присоединить кластер к cluster group, тогда он унаследует политики, созданные Tanzu Mission Control для этой группы.
Специалисты DevOps и разработчики теперь могут использовать единую платформу для потребления ресурсов облачной инфраструктуры на базе кластеров Kubernetes. На эту тему можно почитать следующие ресурсы:
Какое-то время назад в vRA появилась возможность vRealize Automation Cloud Guardrails, которая позволяет стандартизировать подходы к обеспечению публичных облаков и межоблачных коммуникаций в части сетевого взаимодействия, защиты рабочих нагрузок, стоимости и производительности, а также удобству конфигурирования в рамках подхода everything-as-code.
Здесь были добавлены следующие вещи:
Cloud visibility - больше информации об облачной инфраструктуре в составе мультиоблачных конфигураций
Просмотр информации о AWS Member Account
Запуск enforcement и account discovery по расписанию
Теперь vRealize Automation также поддерживает US-East и US-West AWS GovCloud.
Надо отметить, что функции интеграции с Tanzu Mission Control и нововведения vRealize Automation Cloud Guardrails были сделаны только в облачной версии vRealize Automation Cloud July 2022. Подробнее о нововведениях решений серии vRealize Automation 8.9 можно прочитать в Release Notes.
Компания Altaro, разрабатывающая продукты для резервного копирования и восстановления данных виртуальной инфраструктуры, недавно опубликовала свой топ из 24 Open Source утилит компании VMware, который мы приводим ниже. Благодарим нашего читателя Ser за ссылку.
Итак, собственно сам топ из 24 Open Source проектов VMware:
Tanzu Community Edition - бесплатный open source дистрибутив VMware Tanzu, который поддерживается со стороны открытого сообщества, а устанавливается за считанные минуты на локальную рабочую станцию или в облаке. Мы писали об этом продукте тут.
Carvel - это набор из различных утилит для создания приложений, их конфигурации и развертывания в среде Kubernetes.
Octant - решение для визуализации кластера Kubernetes на дэшборде с точки зрения пространств имен и объектов, которые они содержат. Также там отображаются связи объектов и ресурсов. В отличие от дэшборда Kubernetes, Octant запускается локально на вашей рабочей станции, что позволяет избежать проблем, связанных с требованиями к безопасности. Мы писали об этой утилите тут.
Photon - операционная система от VMware, которая используется в виртуальных модулях (Virtual Appliances), реализующих различные вспомогательные сервисы виртуальной инфраструктуры. О последней версии этой ОС мы писали вот тут.
NSX Container Plug-in - это плагин, который реализует интеграцию между NSX-T и Kubernetes, а также с такими PaaS-платформами, как OpenShift и Tanzu Application Service (TAS).
Harbor - этот компонент позволяет хранить образы контейнеров. Если вам необходимо поместить приложение в контейнер и распространять его в своей инфраструктуре, нужно воспользоваться таким реестром. Для движка Docker - это компонент Docker Hub. Проблема в том, что репозиторий Docker Hub открыт абсолютно всем, поэтому VMware сделала свой репозиторий Project Harbor (это форк проекта Docker Hub), который также является Open Source-компонентом, но предоставляет отдельное корпоративное хранилище образов в рамках инфраструктуры компании. Поставляется он в виде виртуального модуля в формате OVA. Об этом продукте мы упоминали тут.
Antrea - это решение позволяет пользователям кластеров Kubernetes на платформе VMware управлять сетевым взаимодействием контейнеров на базе политик. На базе этой платформы построен также и коммерческий продукт VMware Container Networking with Antrea - решение для публичных и частных облаков, использующих Open vSwitch, которое позволяет управлять сетевым взаимодействием на нескольких уровнях с предоставлением поддержки со стороны VMware. О проекте Antrea мы писали вот тут.
Herald - это набор API, который позволяет разработчикам создавать приложения на базе протоколов коммуникации между различными устройствами. Например, это полезно в медицине, где нужны приложения для трекинга состояния устройств и своевременного оповещения различных служб.
Pinniped - это проект, реализующий сервисы идентификации (identity services) для инфраструктуры Kubernetes.
Avi Kubernetes Operator (AKO) - это Kubernetes-оператор, который взаимодействует с Kubernetes API и компонентом балансировщика AVI controller (теперь он называется NSX Advanced Load Balancer).
Salt Project - комплекс решений, купленных VMware вместе с компанией Salt, предназначенный для управления конфигурациями ОС и приложений, а также автоматизации и оркестрации процессов на базе событий.
Container Service Extension - это продукт, который дает функции по управлению жизненным циклом всех типов кластеров Kubernetes через Cloud Director Cluster API, CLI и Container Service Extension-CLI, а также плагин в графическом интерфейсе.
PowerCLI example scripts - это репозиторий на GitHub, содержащий большое количество сценариев, полезных администраторам в ежедневном применении. Например, к ним относится утилита для отчетности о состоянии виртуальной инфраструктуры vCheck, о которой мы писали вот тут.
Flowgate - это решение представляет собой средство агрегации данных из различных источников. Это middleware, которое позволяет провести агрегацию данных систем инвентаризации датацентров DCIM / CMDB и далее передать их в системы управления задачами инфраструктуры (например, vRealize Operations). О Flowgate мы писали вот тут.
vSphere Integrated Containers - это решение позволяет создавать инфраструктуру виртуальных контейнеров в виртуальных машинах vSphere. Последний раз мы писали об этом продукте тут.
Weathervane - это бенчмаркинг-утилита, предназначенная для запуска тестов производительности в виртуальных средах VMware vSphere (как онпремизных, так и облачных), с учетом симуляции реальной нагрузки различных приложений. О второй ее версии мы писали тут.
Pyvmomi - это Python SDK для VMware vSphere API, которая позволяет управлять хостами VMware ESXi и vCenter. Также мы писали о средстве VMFork for pyVmomi, предназначенном для администраторов, которые любят ставить всяческие эксперименты со скриптами. Эта утилитка позволяет создать работающую копию запущенной виртуальной машины посредством скрипта на Python, через VMware vSphere API Python Bindings.
Contour - это легковесный Ingress-контроллер для Kubernetes, который работает за счет развертывания Envoy-прокси в качестве reverse proxy и балансировщика нагрузки.
Velero - это решение для создания и хранения резервных копий ресурсов кластера K8s (etcd), предназначенное для защиты данных на персистентных томах.
Sonobuoy - это утилита для диагностики и отчетности кластеров Kubernetes, которая позволяет оценить их состояние.
VMware Event Broker Appliance (VEBA) - это средство предназначено для создания сценариев автоматизации на базе событий, генерируемых в VMware vCenter Service. Например, VEBA может выполнять такие рабочие процессы, как автоматическое привязывание нужного тэга ко вновь создаваемой виртуальной машине. Работает он по модели "If This Then That". В последний раз мы писали о VEBA вот тут.
Cluster API vSphere Provider - это Cluster API, позволяющий расширить возможности Kubernetes за счет определений CRD и операторов, которые позволяют вам управлять кластерами на базе определений по аналогии с тем, как управляются объекты pods, deployments и services.
Concourse - это проект VMware, который представляет собой open source утилиту CI/CD для Cloud Foundry.
Open VM Tools - это пакеты VMware Tools с открытым исходным кодом, которые встраиваются в большинство современных Linux-дистрибутивов. Соответственно, при установке такой гостевой ОС в виртуальной машине, пакет VMware Tools будет там уже установлен. Исходный код OVT доступен для всех желающих в репозитории на GitHub, но официально поддерживаются только те OVT, которые идут вместе с дистрибутивами Linux. Если вы скомпилировали их самостоятельно - учтите, поддержки от VMware не будет.
На этом топ заканчивается, но количество Open Source инструментов у VMware на данный момент насчитывает более 200 проектов. Их полный список можно посмотреть по этой ссылке.
На днях компания VMware объявила о выпуске обновленной версии решения HCX 4.4 (расшифровывается как Hybrid Cloud Extension), предназначенного для миграции с различных онпремизных инфраструктур (как на платформе vSphere, так и Hyper-V или KVM) в облако на базе VMware Cloud. Этот продукт заменяет некоторые функции снятого с производства VMware Converter в части возможности миграции инфраструктуры в публичное облако сервис-провайдера.
Итак, давайте посмотрим на новые возможности VMware HCX 4.4:
1. Улучшения аналитики передачи данных
Теперь в решении HCX есть функции Transport Analytics, которые позволяют определять базовый уровень необходимой сетевой производительности для миграции, профилировать задачи, а также в реальном времени наблюдать за скоростью и другими параметрами передачи.
Тут есть вот какие возможности:
On-demand мониторинг производительности передачи для каждого аплинка
Transport Monitor, который дает представление в реальном времени об использовании ресурсов сети
Health-статус сервисов в рамках архитектуры Service Mesh
На картинке ниже представлена диаграмма консоли HCX с параметрами пропускной способности канала для всех аплинков, а также параметров latency и packet loss, что позволяет планировать окно миграции в облако. Запустить тест и обновить данные администратор может в любое время:
Также можно вывести исторические графики и диаграмму в реальном времени для следующих параметров:
Throughput
Latency
Packet Loss
Также есть диаграмма на аплоад и даунлоад для разных типов трафика:
Администратор может установить пороговые значения для данных параметров и увидеть на графике историю, когда эти значения были превышены:
2. Улучшения платформы
Улучшения Photon OS - система была обновлена до Photon OS 3, что дает больше возможностей безопасности на уровне ядра по стандартам VMware, а также улучшения механизма по накатыванию патчей и больший фокус на мобильные технологии.
Поддержка Host-Based Replication 8.4 - теперь модуль Host-based Replication (HBR) движка HCX имеет еще больше совместимости с технологией репликации в VMware vSphere, что дает преимущества при миграциях типа Bulk и Replication Assisted vMotion, а также DR-операциях HCX protection.
Поддержка дополнительных регионов VMware Cloud on AWS - добавлены Гонконг, Кейптаун и Бахрейн.
3. Улучшения MON
Появилась поддержка Active/Standby FHRP (VRRP/HSRP) для MON - теперь поддерживается сценарий активного и резервного маршрутизаторов для виртуальных машин с включенным MON (Mobility Optimized Networking). Теперь при падении или выведении одного из маршрутизаторов на обслуживание, операции по миграции не будут прерываться и не потребуют вмешательства администратора:
4. Прочие улучшения
Ротация самоподписанных сертификатов - теперь HCX проверяет дату выпуска самоподписанных сертификатов и автоматически обновляет их за год до истечения.
HCX Publisher Notifications - теперь можно оповещать администраторов о небезопасных или неподдерживаемых билдах ОС, чтобы они не позволяли использовать их в производственной среде.
Обновилось виртуальное железо машины HCX Manager до версии Hardware Version 10, что дает повышенную безопасность для ВМ, для которых рекомендуется иметь версию железа не ниже 9.
Новая вкладка Alerts в HCX Manager - там отображаются все алерты в системе с показателем их критичности, затронутых компонентов и датой срабатывания.
Компания VMware на днях выпустила два обновления своей платформы виртуализации vSphere 7 - ESXi 7 Update 3f и vCenter 7 Update 3f. Напомним, что об обновлении vSphere 7 Update 3d мы писали вот тут.
Давайте посмотрим, что в них появилось нового.
VMware ESXi 7 Update 3f:
Данный релиз исправляет уязвимости, описанные в бюллетенях CVE-2022-23816, CVE-2022-23825, CVE-2022-28693 и CVE-2022-29901. Для подробной информации об этих проблемах вы можете обратиться к статье VMSA-2022-0020.
Добавлена поддержка vSphere Quick Boot для следующих серверов:
Исправления уязвимостей CVE-2022-22982 (подробнее тут) и CVE-2021-22048 (подробнее тут)
Улучшения масштабируемости архитектуры VMware HCI Mesh - теперь один кластер vSAN может обслуживать локальные датасторы до 10 клиентских кластеров vSAN
Улучшения компонентов vSphere Client - исправлены некоторые проблемы с дата-гридами, инвентарем (более компактное представление), Related Objects и Global Inventory Lists. Ну и в целом улучшено юзабилити клиента.
Обновление инфраструктуры VMware vSphere with Tanzu (подробнее тут)
Как известно, компания VMware предлагает пользователям онпремизных инфраструктур несколько иной набор инструментов, чем таковые доступны в облачной инфраструктуре на базе VMware Cloud. Да, в случае организации гибридной инфраструктуры (то есть комбинации собственной площадки и облачной) спектр этих инструментов существенно расширяется, как, например, для решения VMware Cloud Availability, но пользователи все еще не могут использовать все доступные решения. Между тем, многие клиенты VMware хотели бы организовать полноценную облачную инфраструктуру, сохраняя все рабочие нагрузки в собственном датацентре - таковы, зачастую, требования комплаенса.
Именно для таких клиентов VMware недавно запустила программу vSphere+, которая сочетает в себе возможности платформы виртуализации на базе издания VMware vSphere Enterprise Plus, а также облачные средства, такие как VMware Cloud Console для создания единой точки контроля и управления внутренним облаком.
Надо отметить, что сюда входят средства для поддержания инфраструктуры на базе контейнеризованных приложений Kubernetes, чтобы в компании могли организовать полноценное SaaS-облако (это обеспечивается продуктами Tanzu Standard Runtime и Tanzu Mission Control Essentials).
В рамках vSphere+ у клиента остаются хосты ESXi и серверы управления vCenter, но они подключаются к облачному сервису Cloud Console через VMware Cloud Gateway. Администраторы могут выполнять глобальные операции по управлению и оркестрации среды виртуальных машин и контейнеров, опционально имея в своем распоряжении инструменты для создания гибридной среды.
Используя vSphere+ совместно с vSAN+, пользователи могут создавать масштабируемые сервисы, надежно защищенные от сбоев вычислительных ресурсов и хранилищ, а гибкие планы подписки позволяют платить на базе потребляемых ресурсов и функциональности облака.
С помощью Cloud Console пользователи могут централизовать большой объем задач, выполняемых компонентами разных продуктовых линеек VMware в рамках собственного датацентра, которые обычно управляются из разных инстансов vCenter.
Администратор в этой консоли может выполнять следующие задачи:
Управление жизненным циклом сервисов vCenter, включая обновления для группы серверов (кнопка Update Now), обеспечивая окно обновления всего в несколько минут и возможность отката к прошлой версии.
Глобальный инвентарь сервисов с возможностью визуализации ресурсов по всем кластерам, хостам и виртуальным машинам, с доступом к ресурсам CPU, памяти и хранилищ.
Просмотр всех событий и алертов, происходящих в облачной среде - это ускоряет поиск причин проблем в разы.
Проверка на безопасность и комплаенс всей инфраструктуры vSphere, с возможностью обнаружения проблем, таких как незакрытые SSH-сессии, устаревшие SSL-протоколы и прочее, а также предпринятие действий по их устранению.
Развертывание виртуальных машин в рамках всей инфраструктуры, без необходимости переключаться между инстансами vCenter.
Средства поддержки единой конфигурации серверов vCenter в соответствии с внутренними стандартами компании.
Помимо административных утилит, подписка vSphere+ дает множество возможностей для разработчиков, работающих с кластерами Kubernetes:
Сервис Tanzu Kubernetes Grid, позволяющий исполнять контейнеризованные приложения в сертифицированной среде Kubernetes, тесно интегрированной с инфраструктурой vSphere, используя знакомый набор средств управления для разработчиков в онпремизном окружении.
VM service - это возможности развертывания ВМ с помощью команд и API, что позволяет создавать комбинации из ВМ и контейнеров в единой среде.
Network service - средства для создания виртуальных коммутаторов, балансировщиков нагрузки и правил сетевого экрана для ВМ и кластеров Kubernetes.
Storage service - возможность управления персистентными дисками для контейнеров и ВМ. Также можно использовать существующие блочные и файловые хранилища для поддержки контейнеров.
Tanzu integrated services - это набор утилит для развертывания и управления локальными кластерами Kubernetes с возможностями логирования, реестра приложений, мониторинга и другими тулами для быстрого создания производственных Kubernetes-окружений.
Tanzu Mission Control Essentials - это решение дает разработчикам и командам DevOps возможность централизовать операции и управлять всем окружением Kubernetes на глобальном уровне, устраняя проблемы мониторинга и решения проблем. Этот сервис пока не готов и будет доступен в третьем квартале этого года.
Подписка vSphere+ доступна как для новых пользователей VMware, так и для существующих инфраструктур как апгрейд. Хосты vCenter и ESXi текущих версий можно соединить с облаком VMware Cloud, при этом никакие производственные нагрузки перенесены туда не будут.
С помощью сотрудников VMware вы можете перевести свои "вечные" лицензии на подписочную модель vSphere+ и платить в рамках годовых контрактов, не заботясь об управлении лицензионными ключами и продлении SnS. Все действующие подписки вы сможете отслеживать в единой консоли:
Также нужно упомянуть и возможности добавления аддонов в облачную инфраструктуру в рамках расширения подписки - первым таким решением станет VMware Cloud Disaster Recovery.
Больше подробностей о VMware vSphere+ вы можете узнать из вот этого видео:
Также более детальная техническая информация приведена вот в этой статье. Сам сервис vSphere+ доступен по этой ссылке.
Пользователи облачной инфраструктуры VMware Cloud в части гибридных облаков (то есть комбинации онпремизных ресурсов и инфраструктуры публичного облака) имеют в своем распоряжении такой инструмент, как CloudHealth. С помощью него можно получить информацию о доступности и состоянии всех облачных ресурсов различных вендоров в единой консоли администратора.
Для мониторинга и анализа доступны разные виды инфраструктур и ресурсов, включая IaaS-сайты, развертывания контейнеризованных приложений и онпремизная инфраструктура VMware vSphere. Все это доступно в трех разрезах - управление финансами, операционный надзор и обеспечение безопасности и комплаенса.
Сегодня мы посмотрим на три вида отчетов, которые доступны в VMware CloudHealth, и что они в себя включают.
1. Cost Summary Report
Этот тип отчетов содержит данные на уровне организации с возможностями кастомизации, чтобы группы, департаменты и владельцы проектов могли знать свои затраты, управлять ими и приводить их в соответствие выделенным бюджетам.
Из отчетов вы можете узнать следующую информацию:
Текущие затраты для выбранной сущности
Планируемые затраты
Затраты по категориям услуг или их составляющих
Визуализация затрат в виде временных диаграмм
2. Health Check Report
Цель данного отчета - дать пользователю представление о том, что можно оптимизировать в облачной инфраструктуре, как сократить затраты и какие шаги предпринять в будущем для обеспечения корректного функционирования гибридной среды.
3. FlexReports
Этот тип отчетов позволяет проводить гранулярный анализ затрат и использования ресурсов, а также учитывать активы в едином представлении.
Пользователь может существенно кастомизировать эти отчеты в целях выполнения следующих задач:
Получать отчеты в разных измерениях по затратам, использованию и активам
Исследовать тренды нагрузки, чтобы планировать изменение затрат в соответствующем временном периоде
Просматривать указанные данные почти в реальном времени
Выглядит это таким образом:
Сервис VMware CloudHealth доступен по этой ссылке.
Совсем недавно компания VMware выпустила обновленную версию своего решения для обеспечения высокой доступности датацентров на базе VMware Cloud Director - Cloud Director Availability 4.4. По-сути, Cloud Director Availability предназначен для создания резервной инфраструктуры в одном из публичных облаков сервис-провайдеров на основе VMware vCloud Director (так называемая услуга Disaster-Recovery-as-a-Service, DRaaS). Сегодня мы посмотрим на новые возможности этого продукта...
Мы довольно часто пишем о максимальных параметрах виртуальной инфраструктуры VMware vSphere и ее компонентов, в частности VMware vCenter (например, тут и тут). Сегодня мы немного освежим эти данные на примере последней версии сервера управления vCenter и приведем несколько примеров. Для начала напомним, что актуальные данные по максимальным конфигурациям продуктов VMware можно найти по адресу: https://configmax.vmware.com, а также в официальной документации.
Кроме того, у VMware есть отличное видео, посвященное лимитам vCenter и правилам выполнения одновременных операций в виртуальной среде:
Итак, лимиты можно разделить на 2 категории:
Глобальные лимиты для инфраструктуры (виртуальный датацентр).
Лимиты на уровне хоста и его компонентов (например, сетевые адаптеры).
Если говорить о глобальных параметрах, то значения тут следующие:
Вы можете запустить до 640 одновременных операций в vCenter, пока они не начнут становиться в очередь.
Всего можно запустить до 2000 одновременных операций на один сервер vCenter.
На уровне хостов ESXi есть следующие механизмы работы и ограничения:
Хосты ESXi 6 и 7 версий имеют 16 слотов для выполнения операций в единицу времени:
Любая операция с виртуальными машинами потребляет какое-то количество слотов на источнике и целевом хосте.
Операция Storage vMotion стоит 8 слотов на хост. Если вы меняете только датастор у виртуальной машины, оставляя тот же хост, то потребляются эти 8 слотов, то вы можете сделать 2 одновременных миграции. Ранее это работало несколько иначе - смотрите наш пост вот тут.
Операция Linked clone потребляет 1 слот, но для этого у вас уже должен быть создан снапшот. Если у вас его нет, то он сначала создается - это может замедлить создание первого связанного клона. Также снапшот требуется и при клонировании включенной ВМ, где требуется уже 2 слота (то есть одновременно можно делать 8 таких операций для данной пары хостов).
Операции Clone, Relocate и vMotion стоят 2 слота каждая на каждом хосте - то есть и на источнике, и на целевом (суммарно получается потребляется 4 слота на двух хостах). Это же работает и при клонировании ВМ на том же самом хосте - на нем в этот момент потребляется 4 слота (то есть одновременно на хосте можно делать 4 таких операции).
Для датасторов также есть слоты и ограничения на одновременные операции:
У одного датастора есть 128 слотов.
Операция vMotion стоит 1 слот, то есть на одном датасторе может проходить до 128 одновременных миграций vMotion.
Операция Storage vMotion стоит 16 слотов, то есть на одном датасторе может проходить до 8 одновременных миграций vMotion.
Это же работает и для датасторов vSAN, где часто встречаются конфигурации с одним датастором - это надо иметь в виду.
Лимиты для сетевых адаптеров сейчас следующие (помните, что для vMotion лучше иметь отдельный адаптер или выделенную пару портов на нем):
У 1Gb NIC есть 4 слота, то есть можно делать до 4 одновременных миграций vMotion через этот адаптер.
У 10Gb и 25Gb NIC есть 8 слотов, то есть можно делать до 8 одновременных миграций vMotion через такие адаптеры.
Более подробно об организации адаптеров для vMotion вы можете прочитать в KB 2108824.
Некоторое время назад мы писали о службах VMware vSphere Cluster Services (ранее они назывались Clustering Services), которые появились в VMware vSphere 7 Update 1. Они позволяют организовать мониторинг доступности хостов кластера vSphere, без необходимости зависеть от служб vCenter. Для этого VMware придумала такую штуку - сажать на хосты кластера 3 служебных агентских виртуальных машины, составляющих vCLS Control Plane, которые отвечают за доступность кластера в целом:
Надо отметить, что эти службы обязательны для функционирования механизма динамической балансировки нагрузки в кластере VMware DRS. Если вы выключите одну из виртуальных машин vCLS, то увидите предупреждение о том, что DRS перестанет функционировать:
Иногда требуется отключить службы Cluster Services, что может оказаться необходимым в следующих случаях:
Вам нужно правильно удалить кластер HA/DRS и выполнить корректную последовательность по выводу его из эксплуатации
Требуется удалить / пересоздать дисковые группы VMware vSAN, на хранилищах которых размещены виртуальные машины vCLS
Вам не требуется использовать DRS, и вы хотите отключить эти службы. В этом случае помните, что механизм обеспечения отказоустойчивости VMware HA также будет функционировать некорректно. Он зависит механизма балансировки нагрузки при восстановлении инфраструктуры после сбоя - именно на DRS он полагается при выборе оптимальных хостов для восстанавливаемых виртуальных машин.
Режим, в котором службы Cluster Services отключены, называется Retreat Mode. Итак, заходим в vSphere Client и выбираем кластер, в котором мы хотим ввести Retreat Mode. В строке браузера нам нужна строка вида:
domain ID domain-c<number>
Скопировав эту часть строчки, идем в Advanced Setting сервера vCenter и нажимаем Edit Settings:
Далее создаем там параметр со следующим именем и значением false:
config.vcls.clusters.domain-cxxx.enabled
Где cxxx - это идентификатор домена, который вы скопировали на прошлом шаге:
После этого нажимаем кнопку Save. В консоли vSphere Client в разделе vCLS для кластера мы увидим, что этих виртуальных машин больше нет:
На вкладке Summary мы увидим предупреждение о том, что vSphere Cluster Services больше не работает, а службы DRS вследствие этого также не функционируют корректно:
Чтобы вернуть все как было, нужно просто удалить добавленный параметр из Advanced Settings сервера vCenter.
Многие из вас используют или интересуются решением StarWind Virtual SAN, которое является сейчас одним из основных продуктов на рынке для организации отказоустойчивых кластеров хранилищ (а еще и самым технологически продвинутым). Сегодня мы поговорим об узле Witness node в кластерах и о том, как он помогает защитить его от массовых сбоев в виртуальной среде.
Многие администраторы виртуальных инфраструктур используют технологию NVIDIA vGPU, чтобы разделить физический GPU-модуль между виртуальными машинами (например, для задач машинного обучения), при этом используется профиль time-sliced vGPU (он же просто vGPU - разделение по времени использования) или MIG-vGPU (он же Multi-Instance vGPU, мы писали об этом тут). Эти два режима позволяют выбрать наиболее оптимальный профиль, исходя из особенностей инфраструктуры и получить наибольшие выгоды от технологии vGPU.
Итак, давайте рассмотрим первый вариант - сравнение vGPU и MIG vGPU при увеличении числа виртуальных машин на GPU, нагруженных задачами машинного обучения.
В этом эксперименте была запущена нагрузка Mask R-CNN с параметром batch size = 2 (training and inference), в рамках которой увеличивали число ВМ от 1 до 7, и которые разделяли A100 GPU в рамках профилей vGPU и MIG vGPU. Эта ML-нагрузка была легковесной, при этом использовались различные настройки профилей в рамках каждого тестового сценария, чтобы максимально использовать время и память модуля GPU. Результаты оказались следующими:
Как мы видим, MIG vGPU показывает лучшую производительность при росте числа ВМ, разделяющих один GPU. Из-за использования параметра batch size = 2 для Mask R-CNN, задача тренировки в каждой ВМ использует меньше вычислительных ресурсов (используется меньше ядер CUDA) и меньше памяти GPU (менее 5 ГБ, в сравнении с 40 ГБ, который имеет каждый GPU). Несмотря на то, что vGPU показывает результаты похуже, чем MIG vGPU, первый позволяет масштабировать нагрузки до 10 виртуальных машин на GPU, а MIG vGPU поддерживает на данный момент только 7.
Второй вариант теста - vGPU и MIG vGPU при масштабировании нагрузок Machine Learning.
В этом варианте исследовалась производительность ML-нагрузок при увеличении их интенсивности. Был проведен эксперимент, где также запускалась задача Mask R-CNN, которую модифицировали таким образом, чтобы она имела 3 разных степени нагрузки: lightweight, moderate и heavy. Время исполнения задачи тренировки приведено на рисунке ниже:
Когда рабочая нагрузка в каждой ВМ использует меньше процессора и памяти, время тренировки и пропускная способность MIG vGPU лучше, чем vGPU. Разница в производительности между vGPU и MIG vGPU максимальна именно для легковесной нагрузки. Для moderate-нагрузки MIG vGPU также показывает себя лучше (но немного), а вот для тяжелой - vGPU уже работает производительнее. То есть, в данном случае выбор между профилями может быть обусловлен степенью нагрузки в ваших ВМ.
Третий тест - vGPU и MIG vGPU для рабочих нагрузок с высокой интенсивность ввода-вывода (например, Network Function with Encryption).
В этом эксперименте использовалось шифрование Internet Protocol Security (IPSec), которое дает как нагрузку на процессор, так и на подсистему ввода-вывода. Тут также используется CUDA для копирования данных между CPU и GPU для освобождения ресурсов процессора. В данном тесте IPSec использовал алгоритмы HMAC-SHA1 и AES-128 в режиме CBC. Алгоритм OpenSSL AES-128 CBC был переписан в рамках тестирования в части работы CUDA. В этом сценарии vGPU отработал лучше, чем MIG vGPU:
Надо сказать, что нагрузка эта тяжелая и использует много пропускной способности памяти GPU. Для MIG vGPU эта полоса разделяется между ВМ, а вот для vGPU весь ресурс распределяется между ВМ. Это и объясняет различия в производительности для данного сценария.
Основные выводы, которые можно сделать по результатам тестирования:
Для легковесных задач машинного обучения режим MIG vGPU даст бОльшую производительность, чем vGPU, что сэкономит вам деньги на инфраструктуру AI/ML.
Для тяжелых задач, где используются большие модели и объем входных данных (а значит и меньше ВМ работают с одним GPU), разница между профилями почти незаметна.
Для тяжелых задач, вовлекающих не только вычислительные ресурсы и память, но и подсистему ввода-вывода, режим vGPU имеет преимущество перед MIG vGPU, что особенно заметно для небольшого числа ВМ.
Недавно компания VMware провела действительно полезный вебинар для администраторов и менеджеров датацентров, в котором рассказала о самых последних лучших практиках по эксплуатации и обслуживанию виртуальной инфраструктуры VMware vSphere 7:
В целом, это видео не только для администраторов, но и для всех тех, кто продает, использует, развертывает, настраивает и управляет решениями VMware на ежедневной основе. В рамках вебинара вы узнаете о некоторых нетривиальных возможностях из богатого набора VMware vSphere 7.x, которые появились после релиза первоначальной версии 7.0.
Например, в видео рассказывается о функциях vSphere Cluster Services (vCLS), переработанных механизмах vMotion и DRS, новых возможностях поддержки GPU для требовательных к графике и CUDA-приложений, а также многих других нововведениях.
В целом, вы узнаете о лучших практиках в следующих сферах:
Проектирование виртуальной архитектуры
Развертывание vSphere
Тюнинг производительности
Использование средств управления
Масштабирование инфраструктуры
Обеспечение отказоустойчивости компонентов виртуальной среды
Это все позволяет администраторам виртуальной инфраструктуры VMware vSphere видеть информацию о сетевом взаимодействии в виртуальном датацентре и потоках виртуальных машин сразу в клиенте vSphere, без необходимости постоянно переключаться между двумя консолями:
Что нового в версии 2.1:
Поддержка vRealize Network Insight 6.4 и выше (теперь нет сообщения "Connection failed!")
Улучшена обработка ошибок при неудачном соединении (неправильные креды, слишком много попыток логина, невозможно соединиться по другой причине)
Скачать vCenter Plugin for vRealize Network Insight 2.1 можно по этой ссылке.
2. Обновился SDDC Import/Export for VMware Cloud on AWS
до версии 1.7
С помощью этого средства можно сохранять конфигурацию виртуального датацентра SDDC в облаке VMConAWS, а также импортировать ее из сохраненной копии.
Иногда пользователи по разным причинам хотят мигрировать из одного SDDC-датацентра в другой. Для миграции виртуальных машин есть решение VMware HCX, а вот для переноса конфигурации среды до текущего момента не было. Теперь же можно сохранить конфигурацию исходного SDDC и развернуть ее на целевом, не тратя много времени на повторную настройку.
Что нового в версии 1.7:
Новые флаги в файле config.ini flags для пропуска импорта групп и сервисов
Улучшенная обработка ошибок при неудачном импорте (например, неподдерживаемое членство ВМ во внешней группе)
Скачать SDDC Import/Export for VMware Cloud on AWS 1.7 можно по этой ссылке.
3. Обновился Python Client for VMC on AWS
до версии 1.8
С помощью этой утилиты пользователям публичного облака VMware Cloud on AWS можно автоматизировать операции с инфраструктурой виртуального датацентра VMConAWS SDDC.
Это средство представляет собой не клиент для работы с сервером vCenter, а средство удаленного исполнения задач в облаке, таких как создание сетей или настройка групп и правил безопасности на шлюзах Management и Compute Gateways.
Что нового появилось в версии 1.8:
Поддержка VCDR API, которой давно ждали пользователи.
Был проведен рефакторинг функций, в результате вызовы API были разнесены по разным библиотекам. Это позволяет более универсально использовать API-вызовы, в том числе для повторного использования.
Исправлены ошибки при обработке символов нижнего регистра во время создания правил сетевого экрана.
Улучшена документация и прояснено значение некоторых аргументов функций (new-network и new-group).
Скачать Python Client for VMC on AWS
1.8 можно по этой ссылке.
На днях компания VMware опубликовала очередную книгу из серии для новичков (for dummies), касающуюся средств управления корпоративной инфраструктуры - vRealize Automation for Dummies. Напомним, что продукт vRA (а точнее пакет продуктов) предназначен для автоматизации рутинных операций в облаке и онпремизной инфраструктуре на базе VMware vSphere.
В книге на 69 страницах рассказывается о том, как развернуть и начать использовать решение vRealize Automation и основные его компоненты, такие как средство для автоматизации рабочих процессов vRealize Orchestrator. Книга не является чисто маркетинговым материалом - в ней присутствует множество примеров конфигураций продукта, а также скриншоты с разъяснением значений тех или иных параметров.
Также в конце приведены реальные сценарии использования платформы в производственной среде, кроме того, есть и ссылки на все необходимые материалы (статьи, видео) о vRealize Automation. В общем, администраторам, только приступающим к работе с этим решением, книга будет очень полезна.
Содержание:
Introducing vRealize Automation
Cloud Assembly
Service Broker
Code Stream
Orchestrator
SaltStack Config
Looking at Use Cases
Ten Resources to Get Started with vRealize Automation
Также напомним наши посты о книгах из серии for dummies, которые были выпущены компанией VMware:
Компания VMware на днях обновила свое главное программное комплексное инфраструктурное решение VMware Cloud Foundation до версии 4.4.1. Напомним, что это платформа, которая включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager. О версии платформы VCF 4.1 мы писали вот тут.
На днях VMware представила VCF 4.4.1, давайте посмотрим, что там нового (напомним, что релиз VCF 4.4 вышел в феврале):
Новая версия VMware SDDC Manager 4.4.1
Обновление средства управления VMware vCenter Server 7.0 Update 3d, в котором было исправлено множество ошибок (подробнее тут)
Обновися VMware NSX-T до версии 3.1.3.7.4 (подробнее тут и тут).
Добавлен VMware vRealize Suite Lifecycle Manager 8.6.2 PSPAK 3
Пользователи могут развернуть Cloud Foundation 4.4.1 как новый релиз, а также как последовательный или skip-level (через несколько версий) апгрейд с 4.4, 4.3.1, 4.3, 4.2.1, 4.2, 4.1.0.1 и 4.1.
Более подробно о решении VCF вы можете почитать тут. Совместимые с этой инфраструктурой решения приведены на специальном портале.
Известные блогеры, пишущие о платформе виртуализации VMware vSphere и системе отказоустойчивых хранилищ VMware vSAN - Дункан Эппинг и Кормак Хоган - обновили свою совместную книгу, посвященную расширенным настройкам инфраструктуры хранения - VMware vSAN Deep Dive 7.0 Update 3.
На 632 страницах Дункан и Кормак разбирают все самые полезные и глубокие настройки инфраструктуры отказоустойчивых хранилищ, с учетом последних нововведений, появившихся в vSAN 7 Update 3. Кстати, последняя версия книги была для vSAN 6.7 U1, поэтому обновление очень актуально именно сегодня. В книге рассматриваются все новые технологии, такие как vSAN File Service и HCI-Mesh.
Также не обошли стороной такие вещи, как поддержка режима Compression Only, Durability Components и изменения, связанные с функционалом резервирования ресурсов и Capacity Management. В книге рассматривается не только развертывание и первоначальная настройка отказоустойчивых кластеров хранения, но и Day-2 операции, связанные с решением задач, возникающих в процессе ежедневной эксплуатации платформы.
Книга в электронном варианте стоит 12 долларов, с подпиской Kindle Unlimited ее можно получить бесплатно.
Компания VMware недавно выпустила пару интересных материалов о Project Monterey. Напомним, что продолжение развития технологии Project Pacific для контейнеров на базе виртуальной инфраструктуры, только с аппаратной точки зрения для инфраструктуры VMware Cloud Foundation (VCF).
Вендоры аппаратного обеспечения пытаются сделать высвобождение некоторых функций CPU, передав их соответствующим компонентам сервера (модуль vGPU, сетевая карта с поддержкой offload-функций и т.п.), максимально изолировав их в рамках необходимостей. Но вся эта новая аппаратная архитектура не будет хорошо работать без изменений в программной платформе.
Project Monterey - это и есть переработка архитектуры VCF таким образом, чтобы появилась родная интеграция новых аппаратных возможностей и программных компонентов. Например, новая аппаратная технология SmartNIC позволяет обеспечить высокую производительность, безопасность по модели zero-trust и простую эксплуатацию в среде VCF. За счет технологии SmartNIC инфраструктура VCF будет поддерживать операционные системы и приложения, исполняемые на "голом железе" (то есть без гипервизора).
Вот что нового в последнее время появилось о Project Monterey:
Недавно компания VMware анонсировала полную доступность своих облачных сервисов на базе публичной инфраструктуры Alibaba Cloud. Новый продукт получил название Alibaba Cloud VMware Service, он был разработан совместно компаниями VMware и Alibaba Group и нацелен на предоставление облачных услуг в Китае и сопредельных государствах.
Как сообщает VMware, Alibaba Cloud - это третий в мире IaaS-провайдер, который обеспечивает облачные сервисы для подавляющего большинства потребителей облачных услуг в Китае. Партнерство компаний было анонсировано еще в 2018 году, а вот сейчас был запущен совместный продукт, включающий в себя такие решения, как VMware vSphere, vSAN и NSX.
Alibaba Cloud VMware Service интегрирует различные онпремизные инструменты и процессы, создавая гибридную инфраструктуру для предприятий на базе выделенных хост-серверов vSphere в рамках архитектуры VMware Software Defined Data Center (SDDC).
Пользователи получают оборудование от Alibaba Group, а все наполнение - вычислительные ресурсы, хранилища, средства сетевой виртуализации и управления - поставляются VMware. По мере роста организаций они могут расширять свои облачные ресурсы динамически в облаке. Миграцию приложений можно проводить бесшовно, без необходимости изменения их архитектуры, по аналогии со службами VMware Cloud on AWS.
С точки зрения оплаты сервисов, есть 2 модели - по мере роста потребления услуг и на базе фиксированной подписки.
Решения VMware теперь полностью интегрированы с инструментами Alibaba Cloud Console средствами мониторинга инфраструктуры.
Для виртуальных датацентров гарантируется 99.9% SLA с точки зрения доступности инстансов и средств управления, а безопасность на уровнях L2-L4 обеспечивается с помощью решения VMware NSX.
Предполагается, то платформа Alibaba Cloud VMware Service будет работать для четырех базовых сценариев Enterprise-пользователей:
Миграция нагрузок в облако в целях создания гибридной инфраструктуры предприятий
Динамическое расширение ресурсов датацентров, где требуется оперативно расширять мощности для новых проектов и проводить активности по тестированию различных приложений в облачной среде.
Восстановление после сбоев - быстрый способ обеспечить работоспособность и доступность инфраструктуры в случае аварии напрямую из облака.
Модернизация приложений - можно использовать инфраструктуру Kubernetes для развертывания текущих и новых сервисов приложений для разработчиков, используя нативные службы Alibaba Cloud.
Более подробно о решении Alibaba Cloud VMware Service можно почитать вот тут. Небольшое демо также можно посмотреть здесь. Также потенциально это может оказаться полезным для пользователей из России, если геополитические изменения приведут по какой-то причине в эту сторону.
В ESXi 7 Update 3d появилась поддержка технологии vSphere Quick Boot для следующих платформ:
Dell Inc. C6420 vSAN Ready Node
Dell Inc. MX740C vSAN Ready Node
Dell Inc. MX750C vSAN Ready Node
Dell Inc. PowerEdge R750xa
Dell Inc. PowerEdge R750xs
Dell Inc. PowerEdge T550
Dell Inc. R650 vSAN Ready Node
Dell Inc. R6515 vSAN Ready Node
Dell Inc. R740 vSAN Ready Node
Dell Inc. R750 vSAN Ready Node
Dell Inc. R7515 vSAN Ready Node
Dell Inc. R840 vSAN Ready Node
Dell Inc. VxRail E660
Dell Inc. VxRail E660F
Dell Inc. VxRail E660N
Dell Inc. VxRail E665
Dell Inc. VxRail E665F
Dell Inc. VxRail E665N
Dell Inc. VxRail G560
Dell Inc. VxRail G560F
Dell Inc. VxRail P580N
Dell Inc. VxRail P670F
Dell Inc. VxRail P670N
Dell Inc. VxRail P675F
Dell Inc. VxRail P675N
Dell Inc. VxRail S670
Dell Inc. VxRail V670F
В VMware vCenter 7.0 Update 3d появились следующие улучшения:
Исправление проблемы безопасности CVE-2022-22948. Более подробно об этом рассказано тут.
Множество исправлений ошибок, полный список которых приведен тут. Решены проблемы с развертыванием ВМ из OVF-шаблонов, исправлены ошибки с накатыванием инкрементальных патчей vCenter, а также проблема с сообщением о невозможности подключения к серверу Single Sign-On.
Обновлены компоненты VMware vSphere with Tanzu, подробнее об этом рассказано тут.
Обновлены компоненты Photon OS, подробнее об этом рассказано тут.
Скачать компоненты VMware vSphere 7.0 Update 3d можно по этой ссылке. Release Notes доступны тут:
Недавно компания VMware опубликовала интересное тестирование, посвященное работе и масштабированию высокопроизводительных нагрузок (High Performance Computing, HPC) на платформе VMware vSphere 7.
Основной целью тестирования было сравнение нативной производительности HPC-нагрузок на голом железе (bare metal) с работой этих машин на платформе vSphere.
Рабочие нагрузки использовали message passing interface (MPI) с приложениями на базе параллельных процессов (MPI ranks), которые могли объединять несколько физических серверов или виртуальных машин для решения задач. Например, использовались задачи computational fluid dynamics (CFD) для моделирования воздушных потоков в автомобильной и авиа индустриях.
В качестве тестового стенда использовался HPC-кластер из 16 узлов на базе Dell PowerEdge R640 vSAN ReadyNodes в качестве масштабируемых блоков. R640 представлял собой одноюнитовый сервер с двумя процессорами Intel Xeon.
Топология кластера выглядела следующим образом:
Коммутаторы Dell PowerSwitch Z9332 соединяли адаптеры NVIDIA Connect-X6 на скорости 100 GbE по интерфейсу RDMA для MPI-нагрузок.
Отдельная пара коммутаторов Dell PowerSwitch S5248F 25 GbE top of rack (ToR) использовалась для сети управления гипервизором, сети vSAN и доступа к ВМ.
Для соединений использовался virtual link trunking interconnect (VLTi). В рамках теста был создан кластер vSAN с поддержкой RDMA.
Конфигурация физических адаптеров выглядела следующим образом:
Вот так выглядит набор HPC-приложений и бенчмарков из разных индустрий, на базе которых проводилось тестирование:
В процессе тестирования производилось масштабирование высокопроизводительного кластера от 1 до 16 узлов, а результаты фиксировались для физической платформы и для виртуальной среды.
Итак, первая задача о динамике жидкостей:
Вторая задача - моделирование прогнозов погоды:
Третья задача - молекулярная динамика (тут на 16 узлах уже есть отличие производительности до 10%):
Еще один бенчмарк по молекулярной динамике, тут тоже есть 10%-е падение производительности на виртуальной платформе, но заметно его становится только при большом количестве узлов:
Бенчмарк NAMD, тут все почти одинаково:
Конечно же, в процессе тестирования производился тюнинг различных настроек самой платформы vSphere и виртуальных машин, вот какие настройки использовались:
Вот так это выглядит в интерфейсе vSphere Client:
Полную версию отчета о тестировании вы можете посмотреть здесь, но из картинок выше вполне понятно, что платформа VMware vSphere и решение vSAN отлично оптимизированы для работы с высокопроизводительными вычислениями.
На сайте проекта VMware Labs появилась очередная новая утилита - Druid 4G-5G core deployment automation on vSphere. Druid Software - это провайдер core-функций сетей 4G/5G. При развертывании ПО Druid Software 4G/5G на базе сетевого стека VMware ECS (Edge Computing Stack) требуется создание виртуальных машин, развертывание сетевых интерфейсов и исполнение скриптов в виртуальной машине.
Сейчас для развертывания Druid Software Packet Core требуется некоторое количество ручных операций для интеграции в виртуальную инфраструктуру VMware. Данный сценарий позволяет автоматизировать этот процесс. Скрипт под Terraform позволяет быстро внедрить Druid Software 4G/5G VNF в среду VMware.
Для исполнения скрипта вам потребуется VMware vSphere 7 или более поздней версии, ПО Druid (install_raemis_release.sh) и виртуальная машина в виде шаблона на базе CentOS 7.
Загрузить сценарий Druid 4G-5G core deployment automation on vSphere можно по этой ссылке.
RSS
